Spark学习笔记（五）：Kafka 2.9.2-0.8.1集群搭建（包括scala安装）

发表于 | 分类于 | 阅读次数：

安装scala 2.11.8

注意，scala的版本和之后要安装的spark版本密切关联，必须要和spark/jars中的scala-compiler-2.11.8.jar版本一致，而且之后用IDE打包的时候，选择scala版本也要一致

  1. 将scala-2.11.8.tgz使用WinSCP拷贝到spark1的/usr/local目录下。

  2. 对scala-2.11.8.tgz进行解压缩：

    1
    tar -zxvf scala-2.11.8.tgz

  3. 对scala目录进行重命名：

    1
    mv scala-2.11.8 scala

  4. 配置scala相关的环境变量

    1
    2
    3
    4
    5
    vi .bashrc
    export SCALA_HOME=/usr/local/scala
    export PATH=$SCALA_HOME/bin

    source .bashrc

  5. 查看scala是否安装成功：

    1
    scala -version

  6. 按照上述步骤在spark2和spark3机器上都安装好scala。使用scp将scala和.bashrc拷贝到spark2和spark3上即可

安装Kafka包

  1. 将kafka_2.9.2-0.8.1.tgz使用SFTP工具拷贝到spark1的/usr/local目录下

  2. 对kafka_2.9.2-0.8.1.tgz进行解压缩：

    1
    tar -zxvf kafka_2.9.2-0.8.1.tgz

  3. 对kafka目录进行改名：

    1
    mv kafka_2.9.2-0.8.1 kafka

  4. 配置kafka

    1
    2
    3
    4
    5
    vi /usr/local/kafka/config/server.properties
    # broker.id：依次增长的整数，0、1、2、3、4，集群中Broker的唯一id

    zookeeper.connect=10.211.55.24:2181,10.211.55.25:2181,10.211.55.26:2181
    # 这里填写自己的 spark1:2181,spark2:2181,spark3:2181

  5. 安装slf4j
    将slf4j-1.7.6.zip上传到/usr/local目录下，再把slf4j中的slf4j-nop-1.7.6.jar复制到kafka的libs目录下面

    1
    unzip slf4j-1.7.6.zip

搭建kafka集群

  1. 按照上述步骤在spark2和spark3分别安装kafka。用scp把kafka拷贝到spark2和spark3即可。
  2. 唯一区别的，就是server.properties中的broker.id，要设置为1和2

启动kafka集群

  1. 在三台机器上分别执行以下命令：

    1
    nohup bin/kafka-server-start.sh config/server.properties &

  2. 使用jps检查启动是否成功

测试kafka集群

使用基本命令检查kafka是否搭建成功

1
2
3
4
5
bin/kafka-topics.sh --zookeeper 10.211.55.24:2181,10.211.55.25:2181,10.211.55.26:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create

bin/kafka-console-producer.sh --broker-list 10.211.55.24:9092,10.211.55.25:9092,10.211.55.26:9092 --topic TestTopic

bin/kafka-console-consumer.sh --zookeeper 10.211.55.24:2181,10.211.55.25:2181,10.211.55.26:2181 --topic TestTopic --from-beginning

0%